Algorithmen für die Leinwand

Wenn Pauline Leininger ins Kino geht, versucht sie, die technischen Effekte auszublenden. „Ein guter Film sollte einen so tief in die Geschichte eintauchen lassen, dass man über sein Zustandekommen gar nicht mehr nachdenkt.“ Dabei könnte sie gut erkennen, ob Bilder real gedreht, digital verändert oder vollständig künstlich erzeugt wurden. Denn Pauline Leininger forscht als wissenschaftliche Mitarbeiterin an der Hochschule für Fernsehen und Film München (HFF) zum Einsatz von Künstlicher Intelligenz (KI) in der Filmproduktion.

Ihr Weg in die KI-Forschung begann an der LMU, wo sie ein Bachelorstudium in Medieninformatik mit Schwerpunkt Mensch-Maschine-Interaktion absolvierte. Dort beschäftigte sie sich früh mit der Frage, wie digitale Technologien kreative Prozesse unterstützen können. In ihrem Masterstudium am Lehrstuhl für Medieninformatik untersuchte sie, wie sich KI-generierte Umgebungen für virtuelle Filmproduktionen nutzen lassen, und entwickelte entsprechende digitale Werkzeuge. Ihre Masterarbeit führte sie anschließend an der HFF durch und reichte sie an der LMU ein – und wurde dafür mehrfach ausgezeichnet, unter anderem mit dem AI-HUB@LMU Prize und dem ARD/ZDF Förderpreis „Frauen + Medientechnologie“.

Heute ist sie am Lehrstuhl für KI in der Medienproduktion der HFF tätig. Dessen Inhaberin, Professorin Silvia Rothe, kannte sie noch aus ihrer gemeinsamen Zeit an der LMU. Rothe hatte damals am Institut für Informatik promoviert und betreut dort bis heute Masterarbeiten in den Arbeitsgruppen Medieninformatik und Mensch-Maschine-Interaktion. „Für mich ist diese thematische Verbindung ideal“, so Leininger. „Denn ich habe eine große Liebe zum Film, interessiere mich aber gleichzeitig sehr für Informatik und dafür, wie sich neue KI-Modelle ganz praktisch in filmische Arbeitsabläufe einbinden lassen.“

Drachen, Explosionen, Winterlandschaften

Im Zentrum ihrer Forschung steht visuelle KI, also Verfahren, die Bilder, Hintergründe oder dreidimensionale Szenen erzeugen oder verändern können. In der Filmproduktion spielen solche Techniken vor allem bei visuellen Effekten eine wichtige Rolle. „Visuelle Effekte können ganz unterschiedlich aussehen“, so Pauline Leininger. „Das können Explosionen im Hintergrund sein, ein Drache, der ins Bild fliegt, oder eine Sommerlandschaft, aus der eine Winterszene wird.“

Noch werden viele dieser Effekte mit großem manuellem Aufwand erzeugt. KI, so Leininger, eröffne neue Möglichkeiten, solche Prozesse zu unterstützen. Auch in ihrer eigenen Forschung gehe es weniger darum, komplette Szenen automatisch zu generieren. Sie interessiert sich vielmehr für Werkzeuge, die Filmschaffende bei einzelnen Produktionsschritten unterstützen.

Damit eine künstlich erzeugte Szene real wirkt, müssen bestimmte Bedingungen erfüllt sein. „Objekte und Umgebungen müssen konsistent bleiben“, sagt Leininger. „Eine Figur kann zum Beispiel nicht in einer Einstellung noch eine bestimmte Jacke tragen und in der nächsten plötzlich etwas völlig anderes anhaben“, so Leininger. „Und auch wenn Licht oder Bewegung nicht im Einklang mit physikalischen Gesetzen stehen, merkt das Publikum das sofort.“ Dabei ist menschliches Know-how wichtiger, als vielen bewusst ist. „KI kann Bilder erzeugen, arbeitet aber immer auf Grundlage von Anweisungen“, sagt Leininger. „Ob eine Szene funktioniert, hängt deshalb weiter stark vom filmischen Verständnis der Beteiligten ab, etwa für Kameraführung, Schauspiel oder Dramaturgie.“

Fantasy und Science-Fiction günstiger produzieren

Unter Filmschaffenden wird der Einsatz von KI derzeit intensiv diskutiert. „Manche sehen darin neue kreative Möglichkeiten, andere fürchten den Verlust traditioneller Arbeitsweisen“, sagt sie. „Es gibt viel Skepsis, manchmal auch diffuse Ängste.“ Gleichzeitig wenden sich HFF-Studierende bei Problemen in der Produktion immer wieder an Leiningers Team. Die Anfragen reichen von einfachen Aufgaben bis zu komplexeren Effekten. „Das kann etwa der Entwurf eines Posters sein, das später in einer Filmszene im Hintergrund hängt.“ In anderen Fällen geht es darum, eine ganze Landschaft digital zu verändern oder einen Hintergrund zu erzeugen, der mit klassischen Methoden zu teuer wäre.

KI könnte nach Leiningers Einschätzung dazu beitragen, aufwendige visuelle Ideen auch für kleinere und unabhängige Filmschaffende realisierbar zu machen, die bislang oft an Budget, Technik oder personellen Ressourcen scheiterten. „Gerade Genres wie Fantasy oder Science-Fiction, die lange vor allem großen Studios vorbehalten waren, könnten so auch für kleinere Produktionen umsetzbar werden.“

Aus Leiningers Masterarbeit ist bereits ein neues Forschungsprojekt entstanden. Gemeinsam mit einem Kollegen untersucht sie, wie sich reale Orte digital rekonstruieren lassen, um sie bereits vor dem Dreh virtuell zu gestalten. „Viele Planungsprozesse finden heute mit zweidimensionalen Bildern statt“, sagt Leininger. „Uns interessiert, ob es einen Unterschied macht, wenn man einen Raum wirklich begehen kann.“ Grundlage ist eine KI-gestützte Technologie namens Gaussian Splatting, mit der sich aus Fotos realer Räume detaillierte dreidimensionale Modelle erstellen lassen. So kann ein Drehort digital erfasst und anschließend als virtuelle Umgebung begehbar gemacht werden.

Virtuelle Requisiten für Szenenbildner

In dieser Umgebung lassen sich Möbel, Requisiten oder Dekorationen ergänzen, um Filmschaffenden einen ersten Eindruck zu geben. Szenenbildnerinnen und Szenenbildner können ausprobieren, wie ein Raum wirkt, wenn etwa ein bestimmter Schrank in einer Ecke steht oder die Wand eine andere Farbe hat – ohne einen echten Schrank beschaffen oder die Wand streichen zu müssen. Solche virtuellen Modelle könnten auch die Zusammenarbeit im Filmteam erleichtern, glaubt Leininger. „Wenn Regie, Produktion und Szenenbild gemeinsam durch einen digitalen Drehort gehen, kann das Zeit, Material und Kosten sparen.“

Abseits ihrer Forschung hat sich Leininger eine starke Verbindung zu analogen Formen des kreativen Arbeitens bewahrt. „Ich zeichne, male und lese viel und habe eine Jahreskarte fürs Kino“, sagt sie. Seit Kurzem steht außerdem ein 3D-Drucker auf ihrem Schreibtisch zu Hause, mit dem sie kleine Miniaturen entwirft. Besonders faszinieren sie sogenannte „Book Nooks“. „Das sind kleine Dioramen, die wie kleine dreidimensionale Straßenzüge zwischen die Bücher im Regal geschoben werden“, erklärt sie. „Ich drucke einzelne Teile selbst, setze sie anschließend von Hand zusammen und bemale am Ende alles. Das ist ein sehr haptischer Prozess.“

Auch in der Medienproduktion glaubt sie nicht, dass das Analoge so bald ersetzt wird. „Neue Technologien öffnen oft zusätzliche Möglichkeiten“, sagt sie. „Sie ersetzen aber nicht automatisch das, was vorher da war.“ So wie Computeranimation noch heute neben klassischen Stop-Motion-Filmen existiert, könnten auch KI-gestützte Produktionen neben klassisch produzierten Filmen stehen. „Originalität, Emotionen und kreatives Handwerk werden immer wichtig sein“, ist sich Leininger sicher. „Das kann keine Technologie ersetzen.“